Language Models for Page-Level Layout Decisions in E-commerce Search
电商搜索页面级布局决策的语言模型评估：Prompt 与表征方法对比
🧭 LLM as judge · 页面布局离线评估 ★ 深度解读
Walmart Global Tech · University of Illinois at Urbana-Champaign
首次系统对比 Prompt 与表征方法离线评估电商搜索中次级堆叠布局，表征方法 AUC 0.853 显著更优
📌 工作参考价值（4 点）
- 页面布局评估不要直接用 LLM-as-judge：DP 几乎全预测 1，PDJ 虽有分解但仍等权结合，不可靠；改用轻量预训练编码器（如 ModernBERT）embedding + 浅层分类器，AUC 可从 0.67 提升到 0.85，且推理成本更低。
- 标签构造采用 top-to-bottom scroll model：只保留用户实际滚动到次级堆叠位置以下的会话，避免将未看见模块的会话误标为正/负，可显著降低标签噪声，适合电商搜索行为数据。
- 显式结构化特征（stack type、插入位置、重复商品数等）在 prompt 推理中容易被损失，但 representation 方法能自动编码这些信号；如果要用 prompt 派生特征，务必把关键显式特征重新拼回分类器输入。
- 对 Agent/LLM 驱动的 UI 决策，优先考虑用 embedding 作为状态表示，再用小型分类器做最终判断，而不是让 LLM 直接输出最终决策，可减少方差并提升离线可评估性。